[AKIBA.AWS ONLINE #07]Redshift内のデータの活用をAthenaにオフロードしてみた[資料公開]

[AKIBA.AWS ONLINE #07]Redshift内のデータの活用をAthenaにオフロードしてみた[資料公開]

Clock Icon2021.11.24

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部の鈴木です。

11月12日 (金) に開催された「AKIBA.AWS ONLINE #07」にて、「Redshift内のデータの活用をAthenaにオフロードしてみた」というタイトルで登壇しました。

資料

概要のご紹介

以下の内容をご紹介しました。

  • Redshiftでのアンロード時にCLEANPATHオプションを指定するとアンロード先のパーティションのデータが、Redshift のデータと整合する。
  • Athenaでアンロードされたデータを検索する際はパーティション射影を使うとメタデータを管理する必要がなくなる。
  • パーティション射影の型には各々の特徴があり、設計時に考慮する必要がある。

まとめ

Redshift内のデータをS3にエクスポートする際のポイントと、Athenaから検索する際のポイントをご紹介しました。

ご参考になれば幸いです。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.